Particle methods: An introduction with applications

Interacting particle methods are increasingly used to sample from complex high-dimensional distributions. They have found a wide range of applications in applied probability, Bayesian statistics and information engineering. Understanding rigorously these new Monte Carlo simulation tools leads to fascinating mathematics related to Feynman-Kac path integral theory and their interacting particle interpretations. In these lecture notes, we provide a pedagogical introduction to the stochastic modeling and the theoretical analysis of these particle algorithms. We also illustrate these methods through several applications including random walk confinements, particle absorption models, nonlinear filtering, stochastic optimization, combinatorial counting and directed polymer models. Key-words: Genetic algorithms, particle filters, mean field particle models, Feynman-Kac formula, Boltzmann-Gibbs measures, nonlinear Markov chains, interacting processes, genealogical tree based algorithms, simulated annealing, central limit theorem. ∗ Centre INRIA Bordeaux et Sud-Ouest & Institut de Mathématiques de Bordeaux , Université de Bordeaux I, 351 cours de la Libération 33405 Talence cedex, France, [email protected] † Department of Statistics & Department of Computer Science, University of British Columbia, 333-6356 Agricultural Road, Vancouver, BC, V6T 1Z2, Canada and The Institute of Statistical Mathematics, 4-6-7 Minami-Azabu, Minato-ku, Tokyo 106-8569, Japan, [email protected] in ria -0 04 03 91 7, v er si on 1 14 J ul 2 00 9 Méthodes particulaires : Une introduction avec applications Résumé : Les méthodes particulaires en interaction sont de plus en plus utilisées pour simuler des mesures de probabilités complexes dans des espaces de grandes dimensions. Leurs domaines d’applications sont diverses et variés en probabilités appliquées, en statistique bayesienne et dans les sciences de l’ingénieur. L’analyse rigoureuse de ces nouvelles techniques de simulation de type Monte Carlo conduit à des techniques mathématiques fascinantes liées à la théorie des intégrales de Feynman et leurs interprétations particulaires. Nous présentons dans ces notes une introduction pédagogique à la modélisation stochastique et l’analyse théorique de ces algorithmes particulaires. Nous illustrons aussi ces modèles avec différentes applications, telles le confinement de marches aléatoires, des modèles d’évolutions de particules dans des milieux absorbants, des modèles de filtrage non linéaire, des problèmes d’optimisation stochastique, des questions de comptage combinatoire et des modèles de polymères dirigés. Mots-clés : Algorithmes génétiques, filtres particulaires, modèles de champ moyen, formules de Feynman-Kac, mesures de Boltzmann-Gibbs, châınes de Markov non linéaires, processus en interaction, modèles d’arbres généalogiques, recuit simulé, théorèmes limites. measures, nonlinear Markov. in ria -0 04 03 91 7, v er si on 1 14 J ul 2 00 9 Particle methods: An introduction with applications 3 Particle methods: An introduction with applications Piere Del Moral , Arnaud Doucet July 14, 2009